Đền Ba Dân nguyên xưa là đền thờ chung của 3 xã Thụy Lôi Hạ, Hà Hồi và Trung Hoà nên còn có tên gọi là đền Ba Xã. Đền Ba Dân có từ thời Tiền Vua Đinh Tiên Hoàng, thờ vị tướng nhà Đinh có tên là Đinh Nga và phối thờ các thuộc tướng của ông là Đinh Thiết, Đinh Ngân, Phạm Đức, Trần Huy, Đinh Mỹ.

Theo Ngọc phả tướng Đinh Nga là còn của Ông Đinh Điện và Bà Trần Thị Ngùy. Mới 7 tuổi ngài đã thông học Lý Đường Tiên Sinh, trên thiên văn, dưới tường địa lý. Năm 22 tuổi thì cha mẹ qua đời, thấy tại Động Hoa Lư có Đinh Bộ Lĩnh đang tổ chức đại khởi nghĩa, ngài đã tìm đến và được nhận chức chỉ huy sứ. Sau đó ngài đã vâng lệnh và trở về phủ Lị Nhân và tới 3 Giáp Thượng, Trung, Hạ thuộc trang Thụy lôi- Kim Bảng thủa ấy. Bấy giờ có được 10 người trong Trang theo Ngài đi đánh giặc và tiếp đó ngài chiêu mộ được rất nhiều binh sỹ, đã đem quân về động Hoa Lư để cùng quân Đinh Bộ lĩnh dẹp tan được 7 xứ quân, còn 5 đạo quân khác tản ra các vùng khác nhau để chống cự. Đinh Bộ Lĩnh đã chỉ huy tướng quân đánh nốt 5 đạo quân đó. Trong 5 đạo quân nói trên thì 4 đạo do 4 tướng đã dẹp xong. Riêng đạo quân ở Đỗ Động Giang có Đỗ Cảnh Thạc, cha con Đinh Bộ Lĩnh coi thường nên cả ba cha con đã bị Cảnh Thạc bao vây, Ngài đã một mình một ngựa xông vào đánh giặc như chỗ không người, chém hàng trăm quân giặc, phối kết hợp cùng cha con Đinh Bộ Lĩnh đánh Cảnh Thạc. Vì hoang mang nên nghĩa quân của Đỗ Cảnh Thạc đã bỏ chạy.[3]

Khi về đến động Hoa Lư hồi quân, Đinh Bộ Lĩnh tự xưng là Đinh Tiên Hoàng, phong thưởng cho những người có công, Đinh Công Nga được phong ngôi thứ Thừa Tướng quản ở Phủ Lị Kim Bảng. Sau này vâng lệnh vua Đinh trở về 3 giáp trong trang Thụy Lôi, ngài đã cho dân tiền công, vàng bạc, rồi về trang Quang Thừa tụ lậy tổ tiên nội ngoại, sau 10 ngày Đinh Nga trở về huyện sở làm việc. Cũng từ đó 3 giáp thuộc trang Thụy Lôi được miễn thuế và bọn sai dich phiền nhiễu. Một thời gian sau, một hôm ngài đi một vòng thăm lại trang trại và cùng một số quân sỹ bỏ đi. Khi nghe trên núi Kim Nhan trang Kệ Tường huyện Thanh Chương phủ Đức Giang Châu Hoan ở đó ngài đã tự hóa.